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Optisches in-situ Informationssystem 



Die Erfindung betrifft ein optisches In-situ-lnformationssystem. Insbesondere 
betrifft die Erfindung ein System, das eine Vielzahl von Informationen (syntheti- 
sche Objekte) in situ mit dem Sichtfeld eines Betrachters darstellt, der durch ein 
optisches System blickt, etwa durch ein Mikroskop oder eine andere Art von 
Betrachtungsvorrichtung mit beliebiger VergroSerung, 

Es gibt mehrere Arten herkommlicher Systeme, die es einem Betrachter 
ermoglichen, synthetisch erzeugte Bilderzu betrachten. Ein derartiges herkomm-, 
liches System ist ein System zur Betrachtung einer virtuellen Wjrklichkeit. In 
derartigen Systemen werden Stereobilder einer Szene vollstandig mit Hilfe von 
Computern synthetisiert (erzeugt) und dann durch einen Betrachter mit einer 
binokuiaren Betrachtungsvorrichtung betrachtet. In Systemen zur Betrachtung 
einer virtuellen Wirklichkeit wird kein Versuch unternommen, die synthetische 
Sicht auf eine Sicht realer, heller Objekte zu uberlagern. Typischerweise werden 
Systeme zur Betrachtung einer virtuellen Wirklichkeit in einer dunklen Umgebung 
verwendet, so dass keine sehr hellen synthetischen Bilder benStigt werden. 

Eine andere Form eines herkdmmlichen Systems ist eine Oberkopf montierte 
Anzeige, wie sie von Piloten usw. verwendet wird. In derartigen Systemen sind die 
Objekte im Sichtfeld des Piloten so weit beabstandet, dass sie keinen wahrnehm- 
baren Stereoeffekt erzeugen. Das Sichtfeld ist daher im wesentlichen eine 
zweidimensionale Ebene ohne Tiefenwahmehrnung. Die uber der Sicht des 
Piloten angeordneteri synthetischen Bilder brauchen daher keine Tiefenwirkung 
aufzuweisen. 



Eine weitere Form eines herkornmlichen Systems ist eine in ein chirurgisches 
Mikroskop eingebaute Anzeige. Derartige Systeme werden beispielsweise in US- 
A-4,202,037 sowie in US-A-4,722,056 beschrieben. US-A-4, 202,037 beschreibt 
ein System zum gleichzeitigen Betrachten (ohne ausgerichtete Uberlagerung) von 
5 computererzeugter Information in dem Sichtfeld eines chirurgischen Mikroskops. 
Das binokulare Stereomikroskop nach US-A-4, 202,037 dient zum Betrachten 
eines realen Objekts auf einem Objekttrager, derein Praparat enthalt, und zwar in 
Kombination mit einem Bild eines synthetischen Objekts. US-A-4,722,056 
beschreibt ein Verfahren zum Herstellen ausgerichteter Oberlagerungen. Dieses 
10 Verfahren ist auf Oberlagerungen von zweidimensionalen Bildern beschrankt, die 
nur in der Brennebene des Mikroskops richtig ausgerichtet sind. Im Grundsatz ist 
das Verfahren nach US-A-4,722,056 mit den Uberkopf angeordneten Anzeigen fur 
Piloten vergleichbar und erzeugt lediglich eine monoskopische Sicht. 



15 WO-A-88 04786 beschreibt ein Mikroskop mit optimiertem Bild. Das in WO-A-88 
04786 beschriebene, binokulare Stereomikroskop wird zur Darstellung spwohl 
eines realen als auch eines synthetischen Objekts verwendet, und zwar basierend 
auf einem tatsachlichen Winkei des realen Objekts in Bezug zum Betrachter, der 
durch das Mikroskop schaut. Das Mikroskop umfasst eine Beleuchtungs- 

20 einrichtung, ein Objektiv, ein VergroBerungsstellglied, Vorrichtungen zur 
Bildverarbeitung in Echtzeit, Anzeigen, Mischer und Okulare. 

US-A-5, 307,202 beschreibt eine herkommliche stereoskopische Vorrichtung in 
Form eines Stereomikroskops, die die Unterschiede zwischen im wesentlichen 
25 identischen Fotografien ermittelt. Das Mikroskop verwendet ein erstes und zweites 
Objektiv, das von den Objekten reflektiertes Licht aufnimmt 



US-A-4, 994, 794 beschreibt eine andere herkommlifche Vorrichtung zum Darstellen 
von Daten mit Hilfe eines binokularen, Uberkopf angeordneten Anzeigesystems. 

30 

WO-A-88 04786 beschreibt eine weitere herkommliche stereoskopische 
Vorrichtung, die ein Bild eines Objekts bereitstellt, das durch eine Materialschicht 



verdeckt ist, die gegenuber sichtbarem Licht undurchlassig ist, die aber gegenuber 
nicht sichtbarer, Durchgangsstrahlung im wesentlichen durehlassig ist. 

Der vorliegenden Erfindung liegt die Aufgabe zugrunde, eine ausreichende- ^ 
Lichtstarke bereitzusteilen, urn ein synthetisches Bild gegenuber einem heilen, 
realen Bild betrachten zu konnen. 

Daruber hinaus liegt der vorliegenden* Erfindung die Aufgabe zugrunde, eine 
stereoskopische Ansicht eines aus einem synthetischen und einem realen Bild 
kombinierten Bildes zu erzeugen: 

Eine weitere Aufgabe der vorliegenden Erfindung ist es, ein stereoskopisches, 
kombiniertes Bild eines dreidimensionalen synthetischen Bildes mit einem 
dreidimensionalen realen Bild zu erzeugen. 

Die vorliegende, nach Anspruch 1 dargelegte Erfindung betrifft eine Vorrichtung, 
mit der sich computererzeugte Bilder synthetischer, dreidimensionaler Objekte 
einwandfrei ubereinander legen und uber den Bildem realer, dreidimensjonaler. 
Objekte im Sichtfeld eines Betrachters ausrichten lassen. Die hier beschriebenen 
Ausfuhrungsbeispiele umfassen zudem viele neue Merkmale und Techniken, die 
gegenuber den herkommlichen Systemen fur ausgerichtete und nicht ausge- 
richtete Uberlageruhgen zweidimensionaler sowie dreidimensionaler Objekte eine 
Verbesserung in.Bezug auf Helligkeit, Kontrast, Auflosung, Einstellbarkeit und 
Betrieb darstellen. 

Die erfindungsgemaRe Vorrichtung umfasst ein Mittel zum Erzeugen von zwei ' 
synthetischen Stereobildern eines dreidimensionalen, synthetischen Objekts, 
welche dem synthetisch erzeugtem, dreidimensionalen Bild entsprechen. Die 
Vorrichtung umfasst zudem ein Mittel zum Kombinieren der beiden synthetischen 
Stereobilder mit zwei realen Stereobildern, welche den jeweiligen Bildem des 
realen Objekts entsprechen, wobei die beiden realen Stereobilder jeweils von zwei 
Okularen eines Mikroskops erzeugt werden. Diese Vorrichtung bewirkt eine 
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Uberlagerung des synthetisch erzeugen Bildes uberden Bildern der realen 
Objekte in einem dreidimensionalen Raum und nicht nur in einer einzigen 
Brennebene. 



5 Die Erfindung wird im fdlgenden anhand eines in der Zeichnung dargestellten 
Ausfuhrungsbeispiels naher erlautert. 

Es zeigen 

TO Fig. 1 ein herkommliches Betrachtungssystem unter VenA/endung eines 
Mikroskops; 



Fig. 2 ein herkommliches Stereobetrachtungssystem unter Verwendung eines 
Mikroskops zum Erzeugen eines Stereobildes; 



15 



Fig. 3 eine Vorrichtung zurn Erzeugen einer Uberlagerung von Bildern in einer 
einzigen Brennebene gemaS einem ersten Ausfuhrungsbeispiel der vor- 
liegenden Erfindung; 

20 Fig. 4 eine Vorrichtung zum Erzeugen eines Stereobildes gemaG> einem zweiten 
oder dritten Ausfuhrungsbeispiel der vorliegenden Erfindung; und 

Fig. 5A und 5B eine Differenz in der Abbildung von LCD-Pixeln fur ein 

synthetisches Bild zwischen dem zweiten und dritten Ausfuhrungsbeispiel 
25 in Bezug auf eine Bezugsebene und eine andere Ebene. 

. Die vorliegende Erfindung betrifft ein optisches In-situ-lnformationssystem, das 
eine Vielzahl von Informationen (synthetische Objekte) in situ mit dem Sichtfeld 
eines Betrachters darstellt, der durch ein optischesl System blickt, etwa durch ein 
30 Mikroskop oder eine. andere Art von Betrachtungsvorrichtung mit beliebiger 

VergroRerung. Der hier verwendete Begriff H Mikroskop M ist so zu verstehen, dass 



er Mikroskope, Binokulare sowie optische Vorrichtungen umfasst, die an Brillen 
befestigt sind. Der hier verwendete Begriff "synthetische Objekte" ist so zu 
verstehen, dass die durch die vorliegende Erfindung dargestellte Information mit 
Hilfe von Corrtputem und Elektronik synthetisiert wird, und dass sie zweidimen- 
sionale sowie dreidimensionale Objekte darstellen kann. 

In einem gangigen Betrieb des Mikroskops tritt Licht von einem Objekt (d.h. einer 
Informationsquelle) im Objektraum des Mikroskops in das Mikroskopobjektiv ein 
und tritt durch die Okulare des Mikroskops zur Betrachtung des Objektsbildes aus 
In einer Weiterfuhrung dieses Konzepts wird Licht von einer Lichtquelle 105 auf 
ein Objekt 100 gerichtet. Ein Teil des auf das Objekt 100 gerichteten Lichts wird 
vom Objekt 1 00 reflektiert und tritt in ein Mikroskop 1 1 0 ein 

Das in das Mikroskop 1 1 0 eintretende Licht wird von einem Strahlenteiler 120 
geteilt, nachdem es durch die Okulare 130 hindurchgetreten ist. Ein Teil der 
Ausgabe des Strahlenteilers 120 wird auf eine Abbildungsvorrichtung 140 
gerichtet, etwa eine elektronische Kamera, wie in Fig. 1 gezeigt. Der andere Teil 
des vom Strahlenteiler 120 ausgegeberien Lichts wird auf das Auge 160 eines 
Betrachters gerichtet. Die Abbildungsvorrichtung 140 ist entweder verwendbar, Urn 
das Bild an einem Fernsehschirm zu betrachten, oder.zur elektronischen Analyse 
des Bildes. 

Fur die stereoskopische Betrachtung des Objekts wird das Objekt aus zwei 
verschiedenen Winkeln abgebildet und durch zwei Okulare betrachtet, urn ein 
Stereobild des Objekts zu erzeugen. Fig. 2 zeigt eine herkommliche Verwendung 
eines ersten Mikroskops 210 und eines zweiten Mikroskops 220, welche 
gemeinsam Stereosignale in einen Fernsehbildschirm 230 einspeisen, urn ein 
Stereobild des Objekts zu erzeugen. 

Ein erstes Ausfuhrungsbeispiel der vorliegenden Erfindung entspricht einem 
System zum gleichzeitigen Betrachten eines realen Objekts und eines syntheti- 
schen Objekts. In dem ersten Ausfuhrungsbeispiel wird Licht von zwei getrennten 




Quellen mit Hilfe eines optischen Mischers 310 zusammengefuhrt, wie in Fig. 3 
gezeigt. Die erste Lichtquelle ist ein synthetisches Bild, das von einem Computer 
340 erzeugt wird, welcher an eine Flussigkristallanzeige 350 (Liquid Crystal 
Display / LCD) ein Videosignal ausgibt, wobei die Flussigkristallanzeige 350 von 
5 einer Lichtquelle 360 beleuchtet wird. Die Ausgabe der Flussigkristallanzeige 350 
wird mit Licht kombiniert, das von dem Objekt 1 00 uber die Objektivlinsen 320 
empfangen wird. Die kombinierte Lichtausgabe vom optischen Mischer 310 tritt 
durch ein Okular 330, welches das Licht derart fokussiert, dass beide Objekte 
gleichzeitig im Sichtfeld eines Betrachters 160 betrachtbar sind. In Fig. 3 werden 
10 das Okular 330 und das Objektiv 320 beide derart dargestellt, dass sie zwei 

getrennte Linsen umfassen, die zueinander beabstandet sind. Einem einschla- 
gigen Fachmann wird aber selbstverstandlich Jdar sein, dass viele verschiedene 
Arten von Okularen und Objektiven innerhalb des Geltungsbereichs der Erfindung 
verwendbar sind. 

15 : 

In dem ersten Ausfuhrungsbeispiel entspricht eines der betrachteten Bilder einem 
Bild eines realen Objekts, wahrend das andere betrachtete Bild einem synthetisch 
erzeugten Bild oder einem Text entspricht, das, bzw. der durch Elektronik 
eingespeist wurde; beispielsweise unter Verwendung einer Flussigkristallanzeige. 

20 ; In dem ersten, zuvor beschriebenen Ausfuhrungsbeispiel wird dadurch eine 

gleichzeitige Betrachtuhg eines realen Objekts urid eines synthetischen Objekts 
erreicht. Durch Verwendung der Flussigkristallanzeige 350 in Verbindung mit einer 
entsprechenden Lichtmenge, mittels der die Flussigkristallanzeige von einer 
Lichtquelle 360 beaufschlagt wird, ist man in der Lage, ein synthetisches Bild 

25 : deutlich zu sehen, das von einem hellen, realen Bild des Objekts 100 uberlagert 

> f : 

Urn eine stereoskopische Betrachtung zu erreichen, verwendet ein zweites 
Ausfuhrungsbeispiel der Erfindung zwei separate Systeme, eines fur das linke und 
30 eines fur das rechte Auge, wobei die beiden Bilder derart parafokussiert sind, 
dass es aus Sicht eines Betrachters zu einer Bilduberlagerung in einer einzigen 
Brennebene kpmmt. Fig. 4 zeigt ein System entsprechend einem zweiten 
Ausfuhrungsbeispiel der Erfindung, in der eine Stereobetrachtung erzielt wird. 



Das zweite Ausfuhrungsbeispiel umfasst einen ersten Computer 41 OA, der in 
Ansprechen auf ein "synthetisches Bild fur das linke Auge" elektrische Signale 
ausgibt (z.B. Videosignale) an die Flussigkristallanzeige- und Optikeinheit 420A 
ausgibt. Die Flussigkristallanzeige- und Optikeinheit 420A umfasst eine 
Matrixanordnung von LCD-Pixeln sowie Optiken zur Ausgabe des Lichtes von der 
Pixelanordnung in einer bestimmten VergroCerung und Helligkeit. Die Flussig- 
kristallanzeige- und Optikeinheit 420A empfangt Licht von der Lichtquelle 430A 
uber einen Lichtleiter (oder Kabel) oder ahnliches und gibt ein beleuchtetes, 
synthetisches Bild an den Strahlenmischer 440A aus 

Die Beleucbtungseinrichtungen 450A und 450B erzeugen Licht in Richtung eines 
realen Objekts 490. Die Beleuchtungseinrichtungen lassen sich als Lampen 
konfigurieren, die Licht uber ein breites optisches Spektrum ausgeben. Ein. Teil 
des auf das reale Objekt 490 fallenden Lichts wird in einer Richtung zu den 
Objektiven 460A und 460B reflektiert. Das Objektiv 460A ist eine Objektivlinse, die 
zum linken Auge eines Betrachters gerichtetes Licht einer Fokussierung 
unterzieht. Das Objektiv 460B ist eine Objektivlinse. die zum rechten Auge eines 
Betrachters gerichtetes Licht einer Fokussierung unterzieht. 

Vom Objektiv 460A ausgegebenes Licht wird zum Strahlenmischer 440A 
gerichtet, wo das "reale Bild" von dem realen Objekt mit dem "synthetischen Bild" 
kombiniert wird, das von der Flussigkristallanzeige- und Optikeinheit 420A 
stammt. Das kombinierte "synthetische und reale" Licht tritt durch die Okularljnsen 
470A und wird auf einem linken Auge 495A des Betrachters fokussiert. 

In gleicher Weise empfangt auch Objektiv 460B reflektiertes Licht, welches auf 
einen Strahlenmischer 440B fallt. Der zweite Computer 41 OB erzeugt ein 
Videosignal fur ein "synthetisches Bild fur das rechte Auge", welches zur 
Flussigkristallanzeige- und Optikeinheit 420B ubertragen wird. Die Flussigkristall- 
anzeige- und Optikeinheit 420B empfangt zudem Licht von der Lichtquelle 430B 
uber einen Lichtleiter oder ahnliches. Das beleuchtete Synthetikbild von der 
Flussigkristallanzeige und Optikeinheit 420B wird an den Strahlenmischer 440B 
ubertragen, wo es mit dem realen Bild kombiniert wird, das dem von dem realen 




Objekt empfangenen Licht entspricht. In dem zweiten Ausfuhrungsbeispiel 
entsprechen die Flussigkristallanzeigen der Flussigkristallanzeige- und 
Optikeinheit 420A und 420B einer als zweidimensionales Gitter angeordneten 
Pixelmatrix. Das kombinierte Licht von dem Strahlenmischer 440B tritt durch die 
5 Okularlinsen 470B und wird auf einem rechten Auge 495B des Betrachters 
fokussiert. 



Mit der Vorrichtung gemali dem zweiten Ausfuhrungsbeispiel kann der Betrachter 
eine Stereodarstellung eines realen Bildes sehen, das mit einem synthetischen 
10 Bild uberlagert ist. Eine derartige Konfiguration ist in zahlreichen medizinischen 
Verfahren verwertbar. Beispielsweise kann ein CT-Scan oder ein daraus 
ausgewahlter Teilbereich als synthetisches Bild einem realen Bild uberlagert 
werden, das einem tatsachlichen Patienten entspricht, der in einem Sichtbereich 
des Systems gemaR dem zweiten Ausfuhrungsbeispiel angeordnet ist. 

15 

In dem zweiten Ausfuhrungsbeispiel wird eine Kalibrierung derart durchgefuhrt, 
dass das synthetische Bild auf einem oder mehreren Pixeln der LCD-Anordnung 
in den Flussigkristallanzeige- und Optikeinheiten abgebildet werden kann. Diese 
Kalibrierung ist auf unterschiedliche Weise durchfuhrbar, etwa durch Erzeugen 

20 eines Testbildes in einem bestimmten Abstand und Winkel in Bezug zum 
Betrachtungssystem, worauf ermittelt wird, wo das Testbild auf einer X-Y- 
Anordnung von Fldssigkristallanzeigen erscheint. Auf der Grundlage dieser 
Information, die in Bezug zu dem Betrachtungssystem in verschiedenen Winkeln 
-erhoben wird, kann ein synthetisches Bild einwandfrei auf einem realen Bild 

25 uberlagert werden, weil die tatsSchliche Position des realen Objekts in Bezug zu 
dem Betrachtungssystem bekannt ist, und weil bekannt ist, welcher Pixel (oder 
welche Pixel) der Flussigkristallanordnung von dem Objekt in dieser Position 
beleuchtet wurden. 



30 In dem zweiten Ausfuhrungsbeispiel entspricht eine Bezugsebene der Ebene der 
Flussigkristallanordnung von Pixeln, und das synthetische Bild wird ausschlieSlich 
anhand der Tatsache ermittelt, wo es auf der Bezugsebene erscheinen wurde, 
ohne eine andere Ebene zu berucksichtigen. Das kombinierte Bild des realen 



9 



Bildes und des synthetischen Bildes ist somit nur auf der Bezugsebene fur ein 
reales Objekt gultig and erzeugt moglicherweise keine akzeptable Gberlagerung 
des synthetischen Bildes auf dem realen Bild, wenn sich das reale Objekt nicht 
auf der Bezugsebene befindet. Das zweite Ausfuhrungsbeispiel erfordert 
allerdings keine komplexen Berechnungen, und kann fiir einige Situationen 
akzeptabel sein, in denen eine genaue Gberlagerung nicht erforderlich ist. Wenn 
jedoch eine genaue Gberlagerung erforderlich ist, beispielsweise fiir einen 
komplexen chirurgischen Eingriff, ist ein anderes Schema wunschenswert. 

In dieser Hinsicht erzeugt ein drittes Ausfuhrungsbeispiel eine dreidimensionale 
Gberlagerung eines synthetisch erzeugten Bildes ubereinem dreidimensionalen 
Bild des realen Objekts. Das dritte Ausfuhrungsbeispiel hat eine Struktur, die dem 
Zweiten Ausfuhrungsbeispiel aus Fig. 4 ahnlich ist. Allerdings stellt der Computer 
in dem dritten Ausfuhrungsbeispiel die Mittel zum Erzeugen eines dreidimensio- 
nalen synthetischen Bildes bereit, das sich iiber das dreidimensionale reale Bild 
Qberlagern lasst, und welches realistisch erscheint, wenn das reale Objekt von 
einem beliebigen Winkel und/oder aus einer beliebigen Distanz betrachtet wird. 

Zuerst werden zwei synthetische Stereobilder (linkes und rechtes Auge) des 
synthetischen Objekts von den Computern 41 OA und 41 OB berechnet und dann 
auf den Flussigkristallanzeigen 420A und 420B dargestellt, und zwar unter 
Beriicksichtigung der Parameter des optischen Betrachtungssystems. Diese 
Parameter lassen sich aus einer vorkalibrierten Entsprechung zwischen Punkten 
im dreidimensionalen Objektraum und Punkten in einer Ebene der Flussigkristall- 
anzeigen berechnen. Dieses Verfahren wird in Fig. 5A und 5B dargestellt, welche 
eine Entsprechung zwischen dem realen Objektraum und dem FIQSsigkristall- 
anzeigeraum zeigen. Wenn sich das reale Objekt aus einer Bezugsebene 510 zu 
einer anderen Ebene 520 verschiebt, siehe Fig. '5B (d.h. einen anderen Abstand 
zum Mikroskop annimmt), wird ein Punkt A auf der anderen Ebene 520 auf eine 
andere Pixelposition B auf der Referenzebene 510 abgebildet. 

In dem zweiten Ausfuhrungsbeispiel wird angenommen, dass das synthetische 
Objekt ein zweidimensionales Objekt in der Brennebene des Mikroskops ist. In 




dem Kalibrierungsprozess des zweiten Ausfuhrungsbeispiels wird daher eine 
Entsprechung zwischen den Punkten in der Brennebene des Mikroskops und den 
Punkten in der Flussigkristallanzeigenebene ermittelt. Wenn das gegebene 
synthetische Objekt ein dreidimensionales Objekt ist, wird entweder ein Schnitt 
5 dieses dreidimensionalen Objekts oder eine kollabierte (zusammenfallende) 
Projektion dieses dreidimensionalen Objekts in den Flussigkristallanzeigen 
angezeigt, um eine Gberlagerung in der Brennebene des Mikroskops zu 
erzeugen. 

10 In dem zweiten Ausfuhrungsbeispjel wurde der Punkt A' auf der anderen Ebene 
@ 520 mit dem Punkt A auf der Bezugsebene 51 0 zusammenfallen, da das 

synthetische Bild das reale Bild nur auf zweidimensionale Weise uberlagert. Fig. 

5A zeigt die Lage eines Pixel A und eines benaehbarten Pixel B auf einer . 

Flussigkristallanzeigeebene, wobei die Flussigkristallanzeigeebene eine Vielzahl 
15 von (nicht gezeigten) Flussigkristallanzeigen umfasst, die in einer Matrix 

angeordnet sind. Der Schnittpunkt der Strich- und Punktlinien in Fig. 5B entspricht 

einer Lage des Betrachtungssystems in Bezug zur Bezugsebene 510 und der 

anderen Ebene 520. 

20 Wenn sich das reale Objekt auf der Bezugsebene befindet, dann entspricht das 
yon dem System gemaS dem zweiten Ausfuhrungsbeispjel beleuchtete Pixeldem 
9 ( Pixel, der durch das System gemaG dem dritten Ausfuhrungsbeispjel beleuchtet 

wird. Wenn allerdings das Objekt um einen bestimmten Abstand zur Bezugs- 
ebene versetzt wird (d.h. entweder naher oder weiter zum Mikroskop entfernt), 

25 dann ware das von der zweiten Ausfuhrungsbeispjel beleuchtete Pixel ein anderer 
ais der von dem dritten Ausfuhrungsbeispjel, wie in Fig. 5B gezeigt. Die 
Flussigkristallanzeigenanordnung ist derail konfiguriert, dass das synthetische 
Bild in einem bestimmten Abstand in Bezug zum Mikroskop erscheint, wobei 
dieser bestimmte Abstand der Bezugsebene entspricht 



In dem dritten Ausfuhrungsbeispiel werden die Mittei zum Bestimmen der 
Zuordnung eines dreidimensionalen realen Raums zu einer zweidimensionalen 
Anordnung von Pixeln einer Flussigkristallanzeige vorzugsweise vorher durch 
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Kalibrierung vorgenommen, und zwar auf der Grundlage realer Bilder, die von 
einem realen Testobjekt empfangen wurden, und unter Berucksichiigung des 
Abstandes und Winkels des Betrachtungssystems in Bezug zum realen 
Testobjekt. Zur gleichen Zeit ermitteln die Computer 41 OA und 41 OB fur das X-Y- 
Gitter von Flussigkristallanzeige-Pixeln auf den Flussigkristallanzeigen 420A und 
420B, vyo das reale Objekt erscheinen wtirde (d.h. welches Pixel in der Flussig- 
kristallanzeige-Anordnung beleuchtet werden muss), um ein entsprechendes 
dreidimensionales synthetisches Bild zu erzeugen, mit dem das dreidimensionale 
reale Bild des Objekts 490 uberlagert werden kann. 

Das dem dritten Ausfuhrungsbeispiel entsprechende System berucksichtigt die 
Tiefe und den Winkel des Betrachtungssystems, wobei das dem zweiten 
Ausfuhrungsbeispiel entsprechende System das synthetische Bild auf einer 
einzigen Ebene (Bezugsebene) zusammenfuhrt. In dem dritten AusfQhrungs- 
beispiel entspricht also der X-.Y-.Z-Objektraum einer bestimmten Pixel-Adresse 
(X L -, Y L -Koordinate) auf der linken LCD-Anordnung und einer bestimmten Pixel- 
Adresse (X R -, Y R -Koordinate) auf der rechten LCD-Anordnung. Das dritte 
Ausfuhrungsbeispiel sieht eine dreidimensionale Abbildung auf den nutzbaren 
Raum vor, wahrend das zweite Ausfuhrungsbeispiel eine zweidimensionale 
Abbildung des synthetischen Bildes auf den nutzbaren Raum vorsieht. In dem 
dritten Ausfuhrungsbeispiel 1st die Position der Flussigkristallanzeige in Bezug zur 
Optik in den Flussigkristallanzeige- und Optikeinheiten 420A Und 420B derart 
einstellbar, dass Licht von der Flussigkristallanzeige (welches verwendet wird, um 
das synthetische Bild zu erzeugen) derart erscheint, dass es von einer geeigneten 
Ebene in dem realen Objekt kommt (etwa in der Mitte des realen Objekts Oder auf 
einer anderen Ebene, welche in dem dritten Ausfuhrungsbeispiel durch den 
Benutzer einstellbar ist). Das System sieht somit eine komfortablere Betrachtung 
der Uberlagerung des synthetischen Bildes mit dem realen Bild vor. 

In dem zweiten und dritten Ausfuhrungsbeispiel sind die Okulare auch derart 
einstellbar , dass Licht derart erscheint, als ware es um einen bestimmten Abstand 
entfemt und nicht notwendigerweise um einen "unendlichen" Abstand. Es lasst 
sich somit eine realistische dreidimensionale Betrachtung eines Objekts 
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zusammen mit einem dreidimensionalen synthetischen Bild erzielen, wobei der 
Betrachter den Abstand und den Winkel formlich "spurt", in dem er sich in Bezug 
zu dem Objekt befindet. 



In dem dritten Ausfuhrungsbeispiel wird das synthetische Bild,. so wie es von dem 
menschlichen Auge wahrgenommen wird, dem Bild des realen Objekts im 
nutzbaren dreidimensionalen Raum iiberlagert, also nicht nur in einer einzigen 
Brennebene, wie in dem zweiten Ausfuhrungsbeispiel. 



10 Zum Erzeugen synthetischer Stereobildpaare lassen sich Flussigkristalianzeigen 
oder andere vergleichbare Mittel verwenden. Hierbei ist zu beachten, dass 
Rohrenbildschirrne normalenA/eise nicht die Lichtmenge und Auflosung erreichen, 
die erforderlich ist, urn ein reales, helles Bild mit einem synthetischen Bild zu 
uberlagern. Daher werden Flussigkristalianzeigen in jedem der hier beschriebenen 

15 Ausfuhrurigsbeispiele bevorzugt. In jedem der Ausfuhrungsbeispieie werden 
Lichtleiter verwendet, urn eine Lichtfuhrung zwischen der Lichtquelle und den 
Flussigkristalianzeigen herzustellen, wodurch es moglich ist, eine starke 
Lichtquelle abgesetzt anzuordnen. Die vorliegende Erfindung kann zudem 
Abbildungsmittel zum Abbilden der entfernten Spitze des Lichtleiters ah der 

20 Eintrittspupille des Okularsystems umfassen, urn eine ausreichende Koppelung 
zwischen Licht und Auge zu ermdglichen. Die vorliegende Erfindung kann 
Einstellmittel zum Einstellen der Flussigkristallanzeigen-Beleuchtungsstarke 
umfassen, derart, dass die Helligkeit zwischen linker und rechter Flussigkristali- 
anzeigen ausgeglichen ist. Die Lichteinstellmittel konnen in den Lichtquellen 

25 implementiert sein, die den Flussigkristalianzeigen Licht zufuhren. Fur die ^ 
einwandfreie Lichteinstellung kann ein allgemeiner Helligkeitswert auf das 
beteuchtete Sichtfeld des Mikroskops abgestimmt werden. 



In dem zweiten Ausfuhrungsbeispiel sind das linke und rechte synthetische Bild 
30 auf eine gemeinsame Bezugsebene parafokussiert, wahrend in dem dritten 
Ausfuhrungsbeispiel das linke und rechte synthetische Bild auf eine optimale 
Bezugsebene in dem realen Objektraum parafokussiert sind. Die Vergrofterung 
des linken und rechten synthetischen Bildes lasst sich uber Abstimmmittel fur das 



linke und rechte Bild aufeinander abstimmen. Die VergroBerung der LCD-Anzeige 
ist ebenfalls uber die Optik abstimmbar, die in den Flussigkristallanzeige- und 
Optikeinheiten vorgesehen sind, urn das von den Anzeigebildern abzudeckende 
Okularsichtfeld abzustimmen. 

Die vorliegende Erfindung ermdglicht die Berechnung von Stereoansichten 
anhand eines Datenbestands mit folgenden Angaben: i) dem synthetischen, 
dreidimensionalen Objekt und ii) der vorkalibrierten Entsprechung zwischen dem 
dreidimensionalen Raum und den Punkten in der Ebene der Flussigkristall- 
anzeigen. Der Datenbestand ist vorzugsweise in einem Speicher gespeichert, der 
uber einen Computer zuganglich ist. Der Computer ist vorzugsweise mit einer 
eingebetteten Software zur Durchfuhrung der zuvor genannten Berechnung der 
Stereoansichten ausgestattet. Urn zu bestimmen, welcher Pixel in einer X-Y- 
Anordnung von Pixeln in Hinsicht auf einen bestimmten Winkel und Abstand des 
Betrachtungssystems in Bezug zum realen Objekt zu beleuchten ist, ist eine 
Transformationsmatrix verwendbar. 

Die Erfindung ermdglicht das Einstellen des Kontrasts der von den Flussigkristall- 
anzeigen erzeugten Bilder (d.h. bedarfsweise entweder eine hellere oderdunklere 
Einstellung), basierend auf der Helligkeit des realen Bildes von dem realen Objekt. 

Die Erfindung ist zudem mit X-, Y- und Theta-Einstellmitteln konfigurierbar, urn X-, 
Y- und Theta-Einstellungen durchzufuhren, derart, dass die Oberlagerung der 
Ansichten fur das linke und rechte Auge von den synthetischen Bildern innerhalb 
des Sichtfeldes des Okulars einstellbar ist (d.h. Vergrd&ern Oder Verkleinem des 
synthetischen Bildes, das das reale Bild uberlagert ). 

Die Erfindung kann zudem Mittel zum Messen der Systemparameter umfassen, 
die erforderlich sind, urn das linke und rechte Bild zu uberlagern. 
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Die Parameter des Variolinsen umfassenden optischen Systems sind zudem 
dynamisch messbar, urn die Oberlagerung der synthetischen Bilder in dem 
Sichtfeld dynamisch zu erhalten. 

Die vorliegende Erfindung kann zudem dynamjsche Messmittel zum dynamischen 
Messen der Parameter des optischen Systems umfassen, urn die Oberlagerung 
der synthetischen Bilder in dem Sichtfeld dynamisch zu erhalten. 

Obwohl die Erfindung mit besonderem Bezug auf bevorzugte Ausfiihrungs- 
beispiele beschrieben wurde, ist die Erfindung nicht darauf beschrankt, sondern 
es konnen innerhalb des Schutzbereichs der nachstehenden Anspruche 
Anderungen und Abwandlungen vorgenommen werden. Beispielsweise hat die 
vorliegende Erfindung zahlreiche Anwendungen, u.a. die bildgefiihrte Chirurgie,. 
die bildgefiihrte Therapie, die bildgefiihrte Diaghostik, die Telechirurgie. die 
robotische Chirurgie und ein Inspektionssystem zum Vergleichen realer Ob/ekte 
mit ihren dreidimensionalen Bezugs profile n/ 



Anspriiche 
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1. Vorrichtung zum stereoskopischen Betrachten eines realen Objekts und eines 
synthetischen Objekts, wobei die Vorrichtung eine Beleuchtungseinrichtung 
(450A, 450B) zum Beleuchten eines realen Objekts (490) umfasst, erste und 
zweite Objektivlinsen (460A, 460B) zum Empfangen des von dem realen 
Objekt reflektleren Lichts, einen Computer (41 OA, 41 OB) zum Erzeugen eines 
synthetischen Stereobildes fur dass linke und rechte Auge und zum Ausgeben 
eines entsprechenden ersten bzw. zweiten Videosignals, weiterhin eine erste 
und eine zweite Flussigkristallanzeige (420A, 420B) zum Empfangen des 
ersten bzw. zweiten Videosignals und zum Erzeugen eines ersten und zweiten 
synthetischen Bildes, einen ersten Mischer (440A) zum Kombinieren des 
ersten synthetischen Bildes mit dem von der ersten Objektivlinse empfange- 
nen Licht als ein erstes kombiniertes Signal, einen zweiten Mischer (440B) 
zum Kombinieren des zweiten synthetischen Bildes mit dem von der zweiten 
Objektivlinse empfangenen Licht als ein zweites kombiniertes Signal, und erste 
und zweite Okulare (470A, 470B) zum Empfangen eines ersten bzw. zweiten 
kombinierten Signals und zum Richten des ersten und zweiten kombinierten 
Signals zu einem linken Auge (495A) bzw. zu einem rechten Auge (495B) 
eines Betrachters, so dass eine Stereoansicht entsteht, dadurch 
gekennzeichnet, dass die Vorrichtung folgendes umfasst: 

eine Lichtquelle (430A, 430B) zur Ausgabe von Licht, und 

mjndestens einen Lichtleiter zum Beaufschlagen der ersten und zweiten 
Flussigkristallanzeige mit dem von der Lichtquelle ausgegebenen Licht, wobei 
der Lichtleiter das Licht den Flussigkristallanzeigen zum Erzeugen der 
Stereobilder fur das linke und rechte Auge bereitstellt. 

2. Vorrichtung nach Anspruch 1, gekennzeichnet durch Lichteinstellmittel zum 
Verandern der Helligkeit der Lichtausgabe von der Lichtquelle, derart, dass die 
Helligkeit der synthetischen Stereobilder fur das linke und das rechte Auge 
veranderlich ist. 
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